映像スティッチング + AI/ML – 年々変化する情勢

ここ数年、映像スティッチングは私たちの身近となり、スティッチングアルゴリズム（画像スティッチング、ビデオスティッチング）の需要が加速しています。最近では、スティッチングアルゴリズムがユーザーが日常生活する中で使用する製品と明確に関連してきています。例としまして、モバイルカメラのパノラマビュー、ビデオ会議ソリューション、360度/サラウンドビュー、自動車支援、監視ビデオのためのワイドFOVなどです。　映像スティッチングについて多くのことが書かれていますが、これは技術エコシステムを実行している最も古く、広く使用されているアルゴリズムの一つですが、人工知能と機械学習（AI/ML）は、前述の技術に深い意味合いを持っていることをご存じでしょうか？　

AI/MLの進歩は、映像スティッチングとそのアプリケーションに全く新しい次元を与えています。　ここでは、映像スティッチングが長年にわたってどのように進化してきたか、開発者が直面している主要な課題、最新の AI が組み込まれた技術を活用したアプリケーションの観点から見た映像スティッチングの様々な側面を理解してみたいと思います。

映像スティッチングの長期的な課題とは。

このセクションでは、私の経験から、映像スティッチングを実装する際に開発者が直面する課題をいくつか紹介したいと思います。

テクスチャの低い領域のオーバーラップ

ステッチする必要がある画像の中で、テクスチャの低いオーバーラップ領域が現れることは、スティッチングの大きな課題の1つです。これは、重なり合う領域が正確に一致しない不正確な結果につながります。

大きな視差(パララックス)を持つ広いベースライン

プロの技術を使っているにもかかわらず、携帯電話やデジタルカメラなどの携帯機器を使って、実用的な画像を気軽に撮影する傾向があり、その結果、不均等な歪みが生じ、基線が広くなったり、視差が大きくなったりしています。

私の考えでは、標準的に提案されているビデオスティッチングの方法は、標準的なデータセット（自然な基線、視差がほとんどない、または全くない）でしか機能しません。一方、上述の問題は、一般的に画像のぼやけやゴースト、画像の不正確な変換を誘発します。

このような頑固な問題に直面しているすべての開発者にとって、AI/MLは道しるべとなる光となって現れました。 機械学習、ディープラーニング、人工知能のような革新的な技術は、このような問題への取り組みへの好機となっています。　主に、AI/MLは、重なり合った領域を回避するための映像スティッチングの性能と品質に重要な役割を果たしています。 すべてのカメラでカバーされている共通認識として、AI/MLベースの映像スティッチングアルゴリズムは、採用されているハードウェアの負荷を軽減し、ビデオ機能のチューニングを1つの画面上で複数の広角ビューの非常に正確でシュールな映像を提供するのに役立ちます。　ステッチングラインに沿った映像の違いが分からないスムーズで正確なトランジションを実現します。

AI/MLを用いた映像スティッチングアプリケーション – ニュー・ノーマル

よく知られたアプリケーションの映像スティッチング+AI/MLの影響を見ていきます。

ビデオ会議ソリューション

テレコム部門の指数的な成長とモバイルネットワークの5G機能の出現は、ビデオストリーミング機能＆オプションを加速させました。そのため、複数の映像をつなぎ合わせてパノラマビューにするシームレスなユーザエクスペリエンスを実現するには、4 Kおよび8 Kのビデオストリーミングオプションが主流になりつつあります。高解像度ストリーミング・オプションは、ビット・レート・フロントにより大きな影響を与える高解像度ステッチ画像に対する要求を増大させ、この問題は人工知能を使用して軽減することができます。　AI統合ビデオ会議ソリューションは、ビットレートを節約し、特定の解像度で同じ品質を維持するのにも役立ちます。

映像ステッチングを従来の方法で行うと不正確な変換や画像のぼやけが発生する可能性が高くなります。このことにより映像ステッチングと会議ソリューションにおいて、画像処理とビデオ解析アルゴリズムのみを使用する従来の方法から脱却した理由です。今日、ベストな映像ステッチング性能を維持することは主要な関心事であり、それはAIやMLのようないくつかの最新の革新的技術と統合されたポスト・プロセシング・アルゴリズムによって達成できる。ここでは、ビデオ会議ソリューションにおける映像スティッチングの課題と、それを克服する方法について説明します。

課題:

1. スティッチングラインに沿った偏差
2. 2020年以降、徐々に主流になりつつある5.7kまでのビデオ解像度向上によるハードウェアへの影響
3. ステッチ出力と並列処理によるAI/MLユースケースの使用増加にともなう、これらのユースケースの精度に与える影響 
4. 対象物を2つのビューに分割した線に沿ったAI/MLアルゴリズムの精度と正確な対象物/人検出のためのステッチング品質

ニュー・ノーマル

1. すべてのカメラから必要なビューだけをステッチするのに役立つAI/MLアルゴリズムを使用することで、パフォーマンスへの影響をある程度打ち消すことができます。
2. AIを用いた映像ステッチングアルゴリズムは、ステッチラインに沿ったおかしな境界がなく正確な単一ステッチ出力画像を生成します
3. ビデオ会議においてAI/MLを使用することは、より多くの対象領域 (ROI) をカバーし、画像/動画のより高解像度化が可能、また、ひとつの画面上で大規模な視点(領域)が実現できます。

360度　パロラマビューソリューション

世界において徐々にですが、販売されているすべての車両、特に大型トラックや商用車で安全性のためのサラウンドビューカメラを搭載しています。また、映像スティッチングは、交通管理や安全運転基準維持にも役立ち、運転手、同乗者の安全性を向上させます。基本的に4つのカメラを使用し360度の車両の全周囲映像を生成、死角を減らすことで安全運行を維持します。

トレーラーやキャラバンのように車両のサイズが大きくなると、使用するカメラの数も増え、AI/MLベースのスティッチングを利用し車両周辺の全領域をカバーすることが可能になります。AI/MLのような革新的な技術は、スティッチングアルゴリズムの性能と精度を向上させ車両周辺の障害物を検出するのに役立ち、運行上の安全、また巻き込み事故などを低減させることにつながります。

課題:

1. 360度やパノラマビューのソリューションは、常に使用するカメラ数によって左右されています。カメラの数が増えれば、ステッチラインも増え、ユーザーエクスペリエンスの低下を招くことになります。
2. パノラマ用の高解像度画像/動画は常に高いメモリ帯域幅が必要です。
3. AI/MLを利用しなければ、360度ビューはステッチを実行するためにハイエンドCPUとGPUを必要とします。

ニュー・ノーマル

1. 動画のスティッチングにAI/MLアルゴリズムを採用することで、スティッチングラインに沿った位置ズレを少なくすることが出来るので、パノラマ/360度動画の品質を向上さます。
2. 大量のデータ帯域幅を必要とするデータを抑えるために、複数カメラすべての映像において冗長な部分を除去するのにAI/MLは役立ちます。
3. AIアルゴリズムはハードウェア（CPUとGPU）側の必要パワーを削減するのに役立ち、ローエンドのハードウェアでもパノラマビューや360ビューを実行するのに役立ちます。

AI機能と映像スティッチングの統合-利点

• CPUやGPUへの影響が少ない
• データ消費やメモリ帯域幅へのストレスが少ない
• さまざまなカメラのすべてのビューを正確に表現し、よりリアルなユーザーエクスペリエンスを実現
• 安全性、群集管理、対象物/人物の追跡においてのより正確な監視

最近では、クリケットの試合が行われるスタジアムのような広大な敷地に1000以上のカメラを設置し、すべての映像をカバーするため映像スティッチングが使用されていることもあり、この技術の有効性は示されていると思います。

VVDNが映像スティッチングソリューションにおいてOEMに出来ることとは？

VVDNは、ビデオ会議、監視カメラ、360度パノラマビュー、サラウンドビューなどの次世代技術ソリューションの設計、開発、製造に熟知しております。AI/MLベースのステッチングアルゴリズムの正確なステッチングとチューニングのためのビデオキャリブレーションラボがあり、イメージ/ビデオ機能ベースのモデルトレーニングを使用することで、クラス最高の結果を提供することができます。再利用可能なフレームワークとIPを備えたVVDNは、より迅速なタイム・トゥ・マーケットで、効果的で正確な映像スティッチング・ソリューションをOEMに提供します。

VVDNのカメラに関する専門技術詳細につきましてはこちらをクリックしてください。またお問い合わせに関しましてはお気軽に info@vvdntech.com までお問い合わせください。